본문으로 건너뛰기

2장. 데이터 입수 기초

데이터 분석의 첫 단계는 분석할 데이터를 확보하는 것이다. 아무리 뛰어난 분석 기법을 알고 있어도 데이터가 없으면 아무것도 할 수 없다. 데이터 입수는 단순히 데이터를 다운로드하는 것이 아니라, 분석 목적에 맞는 적절한 데이터를 찾고, 접근하고, 수집하는 전체 과정을 의미한다.

데이터 입수란 무엇인가​

데이터 입수(Data Acquisition)는 분석을 위해 필요한 데이터를 다양한 소스로부터 수집하고 분석 환경으로 가져오는 과정이다. 이는 단순한 파일 다운로드부터 복잡한 데이터베이스 연결, 웹 스크래핑, API 호출까지 다양한 방법을 포함한다.

데이터 입수의 중요성​

  • 분석의 출발점: 좋은 데이터 없이는 의미 있는 분석 결과를 얻을 수 없다
  • 데이터 품질 결정: 입수 단계에서 데이터 품질이 결정되며, 이는 최종 분석 결과에 직접적인 영향을 미친다
  • 분석 범위 결정: 확보할 수 있는 데이터의 종류와 양이 분석의 범위와 깊이를 결정한다
  • 비용과 시간: 데이터 입수는 전체 분석 프로젝트에서 상당한 시간과 비용을 차지한다

데이터 소스의 종류와 특징​

데이터 분석에서 사용할 수 있는 데이터 소스는 크게 네 가지로 분류할 수 있다. 각각의 특징을 이해하고 분석 목적에 맞는 적절한 소스를 선택하는 것이 중요하다.

데이터 소스를 선택할 때 고려사항

  • 접근성: 데이터를 얼마나 쉽게 구할 수 있는가?
  • 비용: 데이터 획득에 드는 비용은 얼마인가?
  • 품질: 데이터가 얼마나 정확하고 완전한가?
  • 적시성: 데이터가 얼마나 최신인가?
  • 법적 제약: 데이터 사용에 법적 제한이 있는가?

내부 데이터 (Internal Data)​

  • 정의: 조직 내부에서 생성되고 관리되는 데이터
  • 특징: 접근성이 좋고 신뢰할 수 있지만, 범위가 제한적
  • 예시: 매출 데이터, 고객 정보, 운영 로그, 직원 데이터

외부 데이터 (External Data)​

  • 정의: 조직 외부에서 제공되는 데이터
  • 특징: 다양한 관점을 제공하지만 접근성과 품질에 제약이 있을 수 있음
  • 예시: 공공 데이터, 구매 데이터, 웹 데이터, API 데이터

공공 데이터 (Public Data)​

  • 정의: 정부나 공공기관에서 공개하는 데이터
  • 특징: 무료로 이용 가능하고 신뢰할 수 있지만, 업데이트 주기가 느릴 수 있음
  • 예시: 인구 통계, 경제 지표, 기상 데이터, 교통 데이터

상용 데이터 (Commercial Data)​

  • 정의: 전문 데이터 제공업체에서 판매하는 데이터
  • 특징: 고품질이지만 비용이 발생하고 라이센스 제약이 있음
  • 예시: 시장 조사 데이터, 금융 데이터, 소비자 행동 데이터

데이터 입수 전략​

데이터 입수도 무작정 하는 것이 아니라 전략이 필요하다.

분석 목적 명확화​

  • 어떤 질문에 답하고 싶은가?
  • 어떤 종류의 인사이트를 얻고 싶은가?
  • 분석 결과를 누가, 어떻게 사용할 것인가?

필요한 데이터 정의​

  • 분석에 필요한 변수들 식별
  • 데이터의 시간 범위와 공간 범위 결정
  • 데이터의 세부 수준(granularity) 결정

데이터 소스 탐색​

  • 내부 데이터 가용성 확인
  • 외부 데이터 소스 조사
  • 데이터 품질과 신뢰성 평가

입수 방법 선택​

  • 기술적 제약 사항 고려
  • 비용과 시간 고려
  • 법적, 윤리적 제약 사항 고려

데이터 입수 계획 수립​

  • 입수 일정과 우선순위 결정
  • 필요한 도구와 기술 준비
  • 백업 계획 수립

Python을 활용한 데이터 입수 워크플로우​

Python은 데이터 입수를 위한 강력한 도구들을 제공한다. 주요 라이브러리들을 몇가지 소개한다. 하지만 이 라이브러리들이 항상 가장 좋은 것은 아니며 상황에 맞는 것을 선택해서 사용해야 한다.

파일 처리​

  • pandas: CSV, Excel, JSON 등 다양한 파일 형식 처리
  • openpyxl: Excel 파일 고급 처리
  • json: JSON 데이터 처리

데이터베이스 연결​

  • sqlite3: SQLite 데이터베이스 연결
  • sqlalchemy: 다양한 데이터베이스 연결
  • pymongo: MongoDB 연결

웹 데이터 수집​

  • requests: HTTP 요청 처리
  • beautifulsoup4: HTML 파싱
  • selenium: 동적 웹페이지 처리

클라우드 서비스​

  • boto3: AWS 서비스 연결
  • google-cloud-storage: Google Cloud Storage 연결

데이터 입수할 때 고려사항​

데이터 입수를 하기 전에 확인해야 할 것들이 있다. 특히 법적인 문제와 품질 문제가 발생하면 아예 데이터 분석을 시작할 수도 없다.

법적 고려사항​

  • 개인정보보호법 준수
  • 저작권 및 이용약관 확인
  • 웹 스크래핑 시 robots.txt 확인

윤리적 고려사항​

  • 데이터 사용 목적의 정당성
  • 개인 프라이버시 보호
  • 데이터 소유자의 권리 존중

기술적 고려사항​

  • 데이터 크기와 처리 능력
  • 네트워크 대역폭과 속도 제한
  • 데이터 형식과 호환성

품질 고려사항​

  • 데이터의 정확성과 완전성
  • 데이터의 최신성
  • 데이터의 일관성